随机梯度下降方法及其变体构成了实现机器学习问题的良好收敛速率的核心优化算法。尤其获得这些速率，特别是当这些算法用于手头的应用程序进行微调时。虽然这种调整过程可能需要大的计算成本，但最近的工作表明，通过线路搜索方法可以减少这些成本，可以迭代调整步骤。我们通过使用基于前向步骤模型建筑的新算法提出了一种替代方法来转移到随机线路搜索。该模型构建步骤包含了二阶信息，允许不仅调整步骤，还可以调整搜索方向。注意到深度学习模型参数分组（张量层），我们的方法构建其模型，并计算每个参数组的新步骤。这种新颖的对角化方法使所选择的步长自适应。我们提供收敛率分析，并通过实验表明，在大多数问题中，所提出的算法在大多数问题中实现更快的收敛性和更好的概括。此外，我们的实验表明，该方法的方法非常强大，因为它会收敛于各种初始步骤。
translated by 谷歌翻译